선형 독립(Linear independent)

어느 한 벡터가, 다른 벡터들의 Span에 속하지 않을 때 이를 Linear Independent 하다고 한다. 즉, 다른 벡터들의 Linear Combination을 통해 만들어 지지 않을 때 이를 Linear independent 하다고 한다.

Linear Indendent한 vector span $A$ 에 대하여, $A x = b$ 는 오직 하나의 해 $x$ 를 가진다.

이는, 머신러닝과 같이 여러 feature가 주어질 때, Linear Dependence한, 의미 없는 반복(redundancy)를 제거하는 데 활용된다.

formal definition

$x_{1} v_{1} + x_{2} v_{2} + \dots + x_{p} v_{p} = 0$ 인 벡터가 주어졌을 때, $X = x_{1} x_{2} ⋮ x_{p} = 00 ⋮ 0$ 인 trivial solution $x$ 가 존재한다.

이 때, 최소한 1개의 $x_{i}$ 가 $0$ 이 되지 않는 다른 nontrivial solution $X$ 에 대해서, 이를 Linear dependent하다고 한다. 즉, component vector들의 Linear Combination에서 적절한 weight( $x_{i}$ )의 조절을 통해 원점으로 다시 돌아올 수 있는 경우, 여러 개의 해가 존재하게 된다.

notrivial solution에 대하여, $x_{j} \neq = 0$ 인 어떤 한 $x_{j}$ 와 $v_{j}$ 에 대해

v_{j} = - \frac{x _{1}}{x _{j}} v_{1} - \dots - \frac{x _{j - 1}}{x _{j}} v_{j - 1}

와 같이 Linear Combination 으로 나타낼 수 있다.
즉, Linear Dependence한 component vector는 그 span에 속하게 된다는 의미가 된다.

Linear Dependence

만약 Linear Dependence일 경우, vector의 span을 증가시키지 못한다. 기존 span에 포함될 뿐이므로 동일하다.

**n차원의 column vector들에 대하여, m개의 weights가 존재할 때( $A$ 가 m x n 행렬인 경우), 해가 무수히 많이 존재하게 된다. **

n차원의 공간에 대하여, n개의 벡터만으로 이미 모든 n차원 공간에 대한 span을 가지게 되므로 그 이상의 벡터는 반드시 linear dependence하게 되기 때문이다.